AI 推理平台業者 Runware 推出 Sonic Inference Pod 模組化資料中心，透過液冷與貨櫃化設計，號稱可將 AI 推理成本降低最多九成、吞吐量提升一倍。這項創新預計將加速全球 AI 應用普及，並可能推升對高效能 AI 晶片的需求，對台灣半導體產業鏈構成利多。
AI 推理平台業者 Runware 於美東時間週二（8月4日）發表名為 Sonic Inference Pod 的模組化資料中心，專為加速人工智慧（AI）推理運算設計。這項創新旨在大幅降低 AI 應用部署的成本與門檻，可能對全球 AI 晶片需求，特別是台灣半導體產業鏈帶來潛在影響。
Sonic Inference Pod 是一款自給自足的運算單元，以標準 20 呎貨櫃形式搭載，可提供 1 兆瓦 (megawatt) 的運算能力。其內部整合客製化伺服器、電路板及專為推理效能打造的閉迴路液冷系統。Runware 指出，這種設計能將資料中心設施成本降低至傳統兆瓦級資料中心的百分之一，而液冷系統僅需循環 1.5 立方公尺的水，即可精確控制繪圖處理器（GPU）溫度於目標條件的 2°C 範圍內。
Runware 預計透過 Sonic Inference Pod 提供兩倍的 AI 推理吞吐量，並聲稱可將成本降低 30% 至 90%，遠優於傳統推理服務供應商；每個 Token（AI 模型處理的基本資訊單位）的成本最高可降低十倍。Runware 共同創辦人暨執行長 Flaviu Radulescu 表示，傳統資料中心在電力與散熱方面難以有效擴展 AI 推理需求，因此公司從根本重新設計，專注於液冷 GPU 與模組化形式，目標是更快實現 1 兆瓦的運算能力。
目前，Runware 已在美國和歐洲部署數十個 Sonic Inference Pod，安裝數萬顆 GPU，並於今日開始投入營運，預計在 2026 年下半年全面擴大部署。這些模組化單元的一大優勢是不需改變現有電網，能部署在任何有電源供應的地點，初期將優先選擇再生能源場域。該設計也考量到主權部署需求，讓對資料駐留或法規有特殊要求的組織，能於本地基礎設施上運行 AI 推理。Runware 的商業模式將傳統資料中心佔推理成本約 35% 的營運與設施成本，降至低個位數百分比。
隨著 AI 推理服務成本與門檻的大幅降低，全球企業與開發者對 AI 應用的需求預期將顯著增長。這將直接推升對高效能 AI 晶片的需求，例如美國晶片龍頭輝達 (NVIDIA) 的 GPU，以及負責這些先進晶片製造的台灣半導體產業鏈。台灣在全球晶片代工領域居領導地位，例如台積電，可望從這波加速的 AI 部署浪潮中受惠，進一步鞏固其在 AI 晶片供應鏈中的關鍵地位。